Don't recurse so often in the dependency graph

Prior to this commit the entire dependency tree would be traversed many, many
times as the short circuits weren't applying fast enough. This commit modifies
the recursion to only happen if the target in question was actually compiled.

This commit saw a noop build time for Servo drop from 4.5s to 2.5s.

Implement caching among fingerprint resolutions

This commit adds support for caching the resolved value of a fingerprint among
calls to `resolve`. Due to the recursive nature of a fingerprint, it means that
`resolve` is currently executed a very large number of times for packages which
at transitively dependend up on many times. By caching the returned value of a
fingerprint we're able to prevent extraneous calls into the filesystem or
extraneous hashing.

This also adds an `Arc` to share a `Fingerprint` among all its dependencies as
each fingerprint stores a list of fingerprints that it depends on, and if
they're not shared then the cache isn't exactly the most helpful!

For a noop `cargo build` on Servo (e.g. everything was already built), this
decreased Cargo's runtime from 5s to ~4.5s

Auto merge of #1674 - wca:add-freebsd-snapshot, r=alexcrichton

This branch includes a change to dl-snapshot.py that makes it less directly linked to the format of snapshots.txt, and also adds an initial FreeBSD x86_64 cargo snapshot.  The original URL for my snapshot is:

http://people.freebsd.org/~will/public_distfiles/cargo-nightly-x86_64-unknown-freebsd.tar.gz

SHA256: de678e858de5d2923cc206b7aa1cc84ddc67be00748160f66fc9b7325409e7c7

Restore the original triple split.

Auto merge of #1664 - IvanUkhov:is-dir, r=alexcrichton

The pull request addresses issue #1663. The problem is that `libgit2` [combines][1] `S_IFDIR ` with `S_IFLNK`, and, therefore, the [strict comparison][2] based on `S_ISDIR` rejects directories.

Regards,
Ivan

[1]: https://github.com/libgit2/libgit2/blob/47f37400253210f483d84fb9c2ecf44fb5986849/src/index.c#L308
[2]: https://github.com/rust-lang/cargo/blob/06dbe6555a4a15f5912bbfc841d446dad4d417cc/src/cargo/sources/path.rs#L150

Add initial FreeBSD x86_64 cargo snapshot.

Make fewer assumptions about snapshots.txt format.

- Read the file into a nested dictionary instead of variables.
- Only apply special cases where they are really needed.
- Apply a transform to the triple argument to get the platform name to
  determine whether there is a snapshot available for it.
- Apply a similar (but slightly different) transform to get the snapshot's
  file name.  It would be better if the file name matched the platform name
  in snapshots.txt, but it's too late for that now (older versions of this
  script will certainly expect the existing name format).

Fix the detection of directories when listing files using libgit2

tests: add a test for submodule packaging

tests: move Git-related routines to support

Auto merge of #1671 - alexcrichton:osx-more-robust, r=huonw

Tests are often flaky because the resolution of the OSX filesystem timestamps
appears to be 1s, so we often have to manually sleep for 1s to ensure that
enough time has passed to guarantee that the timestamp is different (used in
freshness calculations).

Make a freshness test more robust on OSX

Tests are often flaky because the resolution of the OSX filesystem timestamps
appears to be 1s, so we often have to manually sleep for 1s to ensure that
enough time has passed to guarantee that the timestamp is different (used in
freshness calculations).

Auto merge of #1656 - EduardoBautista:cargo-home-absolute-path, r=alexcrichton

OK, this should fix https://github.com/rust-lang/cargo/issues/1655.  It worked on my local.  I am not entirely sure how to write a test for this.  Can I get some help and be pointed in the right direction?

Auto merge of #1659 - alexcrichton:shorten-paths-on-windows, r=alexcrichton

Unfortunately paths are getting a little too long on Windows and libgit2 is
given us back the error:

      Failed to rename lockfile to 'C:/bot/slave/nightly-dist-cargo-win-gnu-64-64/build/target/x86_64-pc-windows-gnu/debug/cit/test-155/home/.cargo/git/checkouts/meta-dep-27104ee87001fd00/08c585f6f3927118da012a2d682b67a789c35211/.git/objects/pack/pack-ba5fd201f4c1be9792e6d54eef194e6b733ae719.idx': The data area passed to a system call is too small.

Windows isn't always the best at handling long paths, so this commit changes the
location of the `cit` output directory where tests are located as well as
shortening the name of each test's folder to hopefully get the folder sizes a
little under the limit.

I believe this test is only failing on the nightly bots because the folder name
for the nightly bots is longer than the folder name for the auto bots. Hurray!

Shorten paths in the test runner for windows

Unfortunately paths are getting a little too long on Windows and libgit2 is
given us back the error:

      Failed to rename lockfile to 'C:/bot/slave/nightly-dist-cargo-win-gnu-64-64/build/target/x86_64-pc-windows-gnu/debug/cit/test-155/home/.cargo/git/checkouts/meta-dep-27104ee87001fd00/08c585f6f3927118da012a2d682b67a789c35211/.git/objects/pack/pack-ba5fd201f4c1be9792e6d54eef194e6b733ae719.idx': The data area passed to a system call is too small.

Windows isn't always the best at handling long paths, so this commit changes the
location of the `cit` output directory where tests are located as well as
shortening the name of each test's folder to hopefully get the folder sizes a
little under the limit.

I believe this test is only failing on the nightly bots because the folder name
for the nightly bots is longer than the folder name for the auto bots. Hurray!

Use absolute path for CARGO_HOME

Auto merge of #1658 - alexcrichton:debug-windows, r=alexcrichton

This test is failing on the win64 bot, and I'm not 100% sure why, so trying to
get some more info out of it.

Try to debug a failing test on the windows bots

This test is failing on the win64 bot, and I'm not 100% sure why, so trying to
get some more info out of it.

Auto merge of #1653 - alexcrichton:update-tar, r=alexcrichton

Fixes some extraction bugs when unpacking archives.

Auto merge of #1654 - alexcrichton:udpate-ssh2-sys, r=alexcrichton

The bots are trying to build something which isn't needed and is failing on
nightlies, so the build script has been updated to not bulid this unnecessary
artifact as part of libssh2

Auto merge of #1642 - alexcrichton:opt-fs, r=huonw

Traversing large directory trees can take quite some time, and this commit optimizes a few locations to reduce the number of calls to `fs::metadata`.

Auto merge of #1641 - alexcrichton:update-less, r=brson

Updating a path source can be a possibly expensive operation (lots of
directories that need to be traversed), and currently the root path source is
updated three times:

* Once when the root package is initially loaded.
* Again when the first resolution pass happens over a graph.
* Finally a third when the second resolution pass happens over the graph.

This commit pushes through the original `Source` trait object into the
`PackageRegistry` and removes the implicit call to `add_sources`, pushing that
call up to the stack a bit.

Auto merge of #1639 - jimmycuadra:jobs-flag-docs, r=wycats

Addresses #1591.

I believe this issue only affects `cargo bench` and `cargo test`. If it's applicable to any of the other commands, let me know and I'll amend this.

Auto merge of #1637 - dhuseby:bitrig_snapshot, r=alexcrichton

adds the bitrig cargo snapshot.  d/l the tarball from here: http://blog.linuxprogrammer.org/cargo-nightly-x86_64-unknown-bitrig.tar.gz

Update libssh2-sys's build script

The bots are trying to build something which isn't needed and is failing on
nightlies, so the build script has been updated to not bulid this unnecessary
artifact as part of libssh2

Auto merge of #1617 - alexcrichton:fix-kind-after-the-fact, r=brson

The wrong kind was mistakenly used in the case of having a dependency on a
plugin.

Unfortunately I don't know of a great way to test this, so no unit test is included for now.

Closes #1612

Auto merge of #1651 - Roysten:master, r=alexcrichton

fix name escaping issue in Cargo.toml (#1635) and added corresponding
test

Update the tar-rs dependency

Fixes some extraction bugs when unpacking archives.

Merge pull request #1640 from alexcrichton/fix-rel-config

Fix a relative `rustc` spec to .cargo/config

Reduce calls to fs::metadata in list_git_files

When walking over entries in the index of a git repository the file type can be
known without a syscall (in the form of a libc constant), but walking over
untracked files still requires a syscall to determine if it's a directory.

Optimize the number of calls to fs::metadata

When iterating over `DirEntry` values the file type of the entry can typically
be determined without a syscall, so use the new unstable APIs in `std::fs` to
avoid an extra call to `fs::metadata`. When traversing large directory trees the
improvement is quite noticeable!

Don't update the same path source multiple times

Updating a path source can be a possibly expensive operation (lots of
directories that need to be traversed), and currently the root path source is
updated three times:

* Once when the root package is initially loaded.
* Again when the first resolution pass happens over a graph.
* Finally a third when the second resolution pass happens over the graph.

This commit pushes through the original `Source` trait object into the
`PackageRegistry` and removes the implicit call to `add_sources`, pushing that
call up to the stack a bit.

Fix a relative `rustc` spec to .cargo/config

The paths were mistakenly relative to .cargo/config, not the directory
containing .cargo/config

Clarify that --jobs doesn't affect parallelism when running the resulting binary.

oops forgot to grab the bitrig line

updating snapshot scripts to support bitrig

adding bitrig cargo snapshot

Auto merge of #1629 - alexcrichton:env-rustc, r=alexcrichton

These commits add two vectors through which the compiler run can be configured:

* A `RUSTC` environment variable
* A `build.rustc` configuration variable in a `.cargo/config` file

Add rustc/rustdoc config keys to Cargo config

In addition to global RUSTC/RUSTDOC env vars, this commit recognizes
`build.rustc` and `build.rustdoc` as configuration keys for Cargo to instruct
what tools should be used instead of the default.

Closes #967

Auto merge of #1625 - alexcrichton:ignore-dotfile, r=brson

Whenever Cargo infers various targets for a project it currently picks up all
files in associated folders, but dotfiles are a common example of files which
editors generate which Cargo should not pick up, so this commit ignores all
dotfiles in the folders that it is looking at.

Closes #1615

Auto merge of #1632 - hansjorg:master, r=alexcrichton

Check for existence of file in dl_path before fetching with curl.
If file exists, compare hash with expected.

Also wrap tarfile.open() in contextlib.closing() to support older
python versions (<= 2.6).

This fixes part of #1525.

Make dl-snapshot.py avoid dl'ing existing files

Check for existence of file in dl_path before fetching with curl.
If file exists, compare hash with expected.

Also wrap tarfile.open() in contextlib.closing() to support older
python versions (<= 2.6).

This fixes part of #1525.

Remove borrowed pointer in Config

Not having a lifetime parameter on the ubiquitous Config structure allows a
great deal of other lifetime annotations to be removed and should make dealing
with storage of Config in a structure much easier (only one lifetime to deal
with, not two).

Recognize RUSTC/RUSTDOC environment variables

Auto merge of #1628 - alexcrichton:update-deps, r=alexcrichton

Opt in to nightly features for a few, and update others to get bitrig support

Update cargo deps

Opt in to nightly features for a few, and update others to get bitrig support

Auto merge of #1627 - brson:version, r=alexcrichton

So we have a unique version number to pair with Rust 1.1.

Bump version to 0.3

Auto merge of #1619 - Eljay:fix-doc-open, r=alexcrichton

Fixes #1595.

Don't auto-build dotfiles in inferred folders

Whenever Cargo infers various targets for a project it currently picks up all
files in associated folders, but dotfiles are a common example of files which
editors generate which Cargo should not pick up, so this commit ignores all
dotfiles in the folders that it is looking at.

Closes #1615

Reuse existing crate_name method instead.

Auto merge of #1616 - sbeckeriv:master, r=alexcrichton

This resolves #1379

Auto merge of #1620 - Eljay:empty-package-name, r=alexcrichton

Some simple validation for package/target names. Currently failure for these cases happens later in rustc (e.g. "crate name must not be empty") or at the os level (e.g. "Is a directory" error when package name is empty on linux). Better to handle this earlier so it's consistent across platforms.

Still could do with a lot of validation for invalid characters etc. though.

Fix whitespace

Now matches test output.

Update text per comment in pull request.

Better error message with details around lib and bin.

Added some checks for empty package and target names.

Fix `doc --open` crate name.

Update error message with more details.

This resolves #1379.

Use the right Kind when calculating compiled libraries

The wrong kind was mistakenly used in the case of having a dependency on a
plugin.

Auto merge of #1611 - IvanUkhov:missing-bracket, r=alexcrichton

Add a missing square bracket

Auto merge of #1604 - alexcrichton:update, r=alexcrichton

There was a lifetime parameter regression in git2-rs which prevented Cargo from
building on nightly

Update Cargo to rust master

There was a lifetime parameter regression in git2-rs which prevented Cargo from
building on nightly

Auto merge of #1598 - critiqjo:bash-complete, r=alexcrichton

Fixes #1548
@gentoo90 is it possible to handle long-opts such as `--url=` nicely?
@jeffs please test this out in OS X default bash version...

Bash completion: bash 3 compatibility

Auto merge of #1568 - sondrele:rustc-subcommand, r=alexcrichton

## Work in progress
I have followed issue #595 for a while now. I hope that this PR can solve it, after it's done of course.

@alexcrichton: on IRC the other day, you suggested adding a `Vec<String>` to the `CompileOptions`. I have done this, but wasn't sure what the best way to identify the correct `Target` would be, so currently everything gets compiled with the additional arguments.
I considered adding a `Target` structure to the `CompileOptions` as well, and then in `cargo_rustc::build_base_args` only append the arguments if the `Target` matches. What do you think about this? Is there an easier way of figuring out the correct `Target`?

r? @alexcrichton

Auto merge of #1590 - alexcrichton:issue-1589, r=brson

Knowing the target architecture for calculating the filename is needed when
calculating the name of a dynamic library, and previously this was only taken
into account when a target was a plugin. Targets can, however, request that they
are built as a dynamic library which also needs to be taken into account.

Closes #1589

Add a Kind argument to target_filenames

Knowing the target architecture for calculating the filename is needed when
calculating the name of a dynamic library, and previously this was only taken
into account when a target was a plugin. Targets can, however, request that they
are built as a dynamic library which also needs to be taken into account.

Closes #1589

Auto merge of #1586 - gentoo90:bash-comp, r=wycats

Fix inability to complete more than one option of a command.
Add missing options.

Bash-completion minor improvements

Fix inability to complete more than one option of a command.
Add missing options.

Suggest adding flags to filter the package in the error message

Cleanup:
- Dereference arguments before matching
- use square brackets for vec! macro

Update subcommand documentation

Auto merge of #1585 - tshepang:typos, r=alexcrichton

fix typos caught by codespell

Auto merge of #1584 - alexcrichton:issue-797, r=brson

Closes #797
Closes #1575

This is a reopening of #1170 but I see the two closed issues as important enough that this needs to land in some form or another, and I'm more comfortable with always taking into account untracked files than only if there isn't a commit yet.

Scan untracked files in git for packaging/deps

Closes #797
Closes #1575

Auto merge of #1577 - alexcrichton:issue-1567, r=brson

Previously if a package had been activated without the default feature and then
it was attempted to be reactivated with the default feature, resolution wouldn't
continue and actually activate the default feature. This means that the
fingerprint on the other end of compilation would be slightly different because
the set of activated features would be slightly different, causing spurious
recompiles.

Closes #1567

Auto merge of #1576 - takkanm:add_search_to_help, r=alexcrichton

There was no "Search" to help message.

Check default features when skipping resolution of a package

Previously if a package had been activated without the default feature and then
it was attempted to be reactivated with the default feature, resolution wouldn't
continue and actually activate the default feature. This means that the
fingerprint on the other end of compilation would be slightly different because
the set of activated features would be slightly different, causing spurious
recompiles.

Closes #1567

change search help to better message

add search to help

Auto merge of #1574 - alexcrichton:rustup, r=alexcrichton

Update to rust master, picking up metadata mtime changes

This commit adds a new `MTime` structure specifically for dealing with
modification times across platforms.

Add more tests:
- `build_with_args_to_one_of_multiple_binaries`, verify that only one bin gets built
- `fails_with_args_to_all_binaries`
- `build_with_args_to_one_of_multiple_tests`, same behavious as for the binaries
- `build_foo_with_bar_dependency`, verify that bar dependency gets built and only foo gets compiled with args
- `build_only_bar_dependency`, build the bar package, that foo depends, on with the extra args

Cleanup tests - favor more explicit expected result instead of using helper functions

Modify test to build `main` like before, but `lib` also gets built as a dependency.
- The test verifies that the trailing arguments only gets passed to the binary being built

Remove the arguments from `BuildConfig` and append them to the profile that's being compiled instead.
- An error will be returned if the length of `targets` is not 1
- The profile of `targets` gets cloned in order to append the extra arguments.
- The new test verifies that the build fails due to both `lib` and `main` being compiled

Add new field `rustc_args` to the `Profile`
- This field will be set by the `cargo rustc` command, only if one target is being compiled
- The field can not be read from the Cargo.toml

Remove the `pkgid` arg and replace the `profile` flag with `package`.

Pass the `arg_opts` from the command line further on to the CompileOptions.
- The new tests verifies that the extra arguments gets appended to the command. One is for lib and one is for main
- Currently the arguments gets passed on to *every* target that gets built, so the tests only contain one file each

Add a new field to CompileOptions and BuildConfig: `target_rustc_args`
- The new field is a list with arguments to compile the target with.
- There should only be one target that gets compiled with these arguments

Add new subcommand `rustc`.
- `cargo rustc` is starting out based on `cargo build`

Loosen the dependency versions in Cargo.toml

Auto merge of #1566 - alexcrichton:fix-transitive-update-dash-p, r=brson

Currently when a dependency is transitively updated the source may not itself be
updated, so an update may not happen at all. This commit modifies this behavior
to be sure to add the non-updated source to the registry for any matching
package which will trigger the source to update itself.

Auto merge of #1564 - alexcrichton:right-timeout, r=brson

Previously a timeout was set via libcurl's blanket timeout option, which is a
timeout for the entire request. This isn't always what we want, however, as
cargo is used on quite a variety of networks. Instead what we really want is
timing out data being received, so instead of a blanket timeout we set two
different timeouts:

* The connect timeout is now configured (time it takes to connect the socket)
* A "low speed" timeout is now also set. This means that if Cargo doesn't
  receive 10 bytes of data in the specified tiemout period that the entire
  transfer will be timed out.

Closes #1560

Tweak the meaning of HTTP timeouts

Previously a timeout was set via libcurl's blanket timeout option, which is a
timeout for the entire request. This isn't always what we want, however, as
cargo is used on quite a variety of networks. Instead what we really want is
timing out data being received, so instead of a blanket timeout we set two
different timeouts:

* The connect timeout is now configured (time it takes to connect the socket)
* A "low speed" timeout is now also set. This means that if Cargo doesn't
  receive 10 bytes of data in the specified tiemout period that the entire
  transfer will be timed out.

Closes #1560

Fix transitively updating dependencies

Currently when a dependency is transitively updated the source may not itself be
updated, so an update may not happen at all. This commit modifies this behavior
to be sure to add the non-updated source to the registry for any matching
package which will trigger the source to update itself.

Auto merge of #1559 - alexcrichton:platform-specific-deps++, r=brson

They're available at the top-level, so no reason to not expose them at the
target level as well!

Closes #1464